Making Collaborative Signals Count: Graph-Aware Large Language Models for Sequential Recommendation
让协同信号发挥作用：面向序列推荐的图感知大语言模型
🧭 生成式推荐 · Graph-aware LLM ★ 深度解读
浙江大学 · 中国科学技术大学
将全局 item 共现关系分桶为可学习 attention bias 注入 LLM，无需外部图编码器即可联合建模语义与协同信号
📌 工作参考价值（4 点）
- 在 LLM 生成推荐候选时，用「item token + item-item 共现分桶 attention bias」替代直接拼接 CF embedding，可缓解协同表示与文本空间不对齐；工程上只加少量 bias 参数，适合 LoRA 微调。
- 共现强度用等频分桶（如 5 桶）作为离散 relation，比原始稀疏频率更稳定，且只从训练集统计；在电商 item 候选上可直接计算 item co-occurrence 或 query-item 共现并复用。
- 保留 Text-Text 与 Item-Text 关系显式建模，能减少 LLM 语义能力损失；消融显示三类关系互补，缺少任一都会掉点，尤其全局 Item-Item 关系对跨序列协同至关重要。可借鉴做「graph bias」式的知识注入，不必改 LLM 结构。
- 推理侧采用 trie-constrained beam search 限制生成到合法 item 集合，是 LLM 电商候选生成落地的必要工程手段；item token 从现有 CF 模型 embedding 经 MLP 投影初始化，可复用 SASRec 等已有向量。